分散的学习算法可以通过在不同设备和位置生成的大型分布式数据集对深度学习模型进行培训，而无需中央服务器。在实际情况下，分布式数据集可以在整个代理之间具有显着不同的数据分布。当前的最新分散算法主要假设数据分布是独立且分布相同的（IID）。本文的重点是用最小的计算和内存开销来改善非IID数据分布的分散学习。我们提出了邻居梯度聚类（NGC），这是一种新型的分散学习算法，使用自我和交叉梯度信息修改每个代理的局部梯度。特别是，所提出的方法用自级的加权平均值，模型变化的跨梯度（接收到的邻居模型参数相对于本地数据集的衍生物）和数据变化，将模型的局部梯度取代了模型变化的均值平均值交叉梯度（相对于其邻居数据集的本地模型的衍生物）。此外，我们提出了compngc，这是NGC的压缩版本，通过压缩交叉梯度将通信开销降低了$ 32 \ times $。我们证明了所提出的技术在各种模型体系结构和图形拓扑上采样的非IID数据分布上提出的技术的经验收敛性和效率。我们的实验表明，NGC和COMPNGC的表现优于现有的最先进的（SOTA）去中心化学习算法，而不是非IID数据的$ 1-5 \％$，其计算和内存需求明显降低。此外，我们还表明，所提出的NGC方法的表现优于$ 5-40 \％$，而没有其他交流。

分散的分布式学习是利用私有用户生成的本地数据在边缘设备上启用大规模机器学习（训练）的关键，而不依赖于云。然而，实际实现这种设备培训受到通信瓶颈的限制，训练深层模型的计算复杂性和跨设备的显着数据分布偏差。在文献中提出了许多基于反馈的压缩技术，以降低通信成本，并且通过提高收敛速率，少数作品提出算法改变，以帮助存在偏斜数据分布的性能。据我们所知，文献中没有工作，适用并显示计算有效的训练技术这种量化，修剪等，用于对等对等分散的学习设置。在本文中，我们分析并展示了低精度分散培训的趋同，旨在降低培训和推论的计算复杂性。此外，我们研究偏斜和通信压缩程度对各种计算机视觉和自然语言处理（NLP）任务的低精度分散训练的影响。我们的实验表明，与其全面的数据相比，8位分散的训练与其完整的精密对手相比，即使具有异质数据，也具有最小的精度损失。但是，当通过稀疏的沟通压缩伴随着低精度训练时，我们观察1-2％的准确性。所提出的低精度分散培训减少了计算复杂性，内存使用量和通信成本，同时交易低于IID和非IID数据的1％准确性。特别是具有更高的偏斜值，我们观察精度增加（〜0.5％），具有低精度训练，表明量化的正则化效果。